\section{Objetivos espec\'ificos}
\label{objetivos}

Si bien GER es la tarea m\'as estudiada de GLN, la evaluaci\'on de los sistemas de GER es a\'un un problema abierto. El objetivo final de un sistema de GER es generar una expresi\'on referencial que pueda ser utilizada con \'exito por un usuario humano a fin de identificar el referente previsto. Y por lo tanto, los sistemas de GER deben ser evaluados por personas, o por m\'etodos de evaluaci\'on automatizados correlacionados con las evaluaciones humanas. El problema es que la evaluaci\'on humana es costosa, mientras que las evaluaciones autom\'aticas propuestas hasta al momento no han mostrado correlaci\'on con las evaluaciones humanas~\cite{Reiter09}.

Proponemos evaluar el algoritmo de generaci\'on de expresiones referenciales implementado en~\cite{Areces2008} utilizando dos metodolog\'ias. 

\begin{description}
\item[An\'alisis de cobertura con respecto a corpora:] En esta parte se propone usar corpora disponible~\cite{viethen-dale:2011:UCNLG+Eval} para analizar la cobertura del algoritmo. Para esto se comparar\'a la salida del algoritmo con las expresiones referenciales hechas por humanos en lenguaje natural. Para poder realizar esta comparaci\'on el algoritmo ser\'a modificado de las siguientes maneras:
\begin{enumerate}
   \item Actualmente el algoritmo retorna s\'olo una expresi\'on referencial por referente, se modificar\'a para que retorne m\'as de una expresi\'on referencial, para cada objeto, si es posible.
   \item Se extender\'a el algoritmo para que d\'e como resultado no s\'olo la m\'inima expresi\'on referencial para cada objeto sino tambi\'en expresiones sobre-especificadas (redundantes).
   \item Se agregar\'a un orden de preferencia a los atributos a considerar.
   \item Se modificar\'a el algoritmo para que tenga en cuenta la probabilidad de uso de un atributo (basada en la frecuencia observada en el corpus) y la probabilidad de discernibilidad de un atributo (calculada en base a la tasa de sobre-especificaci\'on vista en el corpus).
\end{enumerate}
\item[Integraci\'on en un sistema de generaci\'on de instrucciones:] El GIVE Challenge~\cite{KolByrCasDalStrMooObe09} es una competencia propuesta para evaluar sistemas de GLN situados en entornos virtuales. Su objetivo es disminuir el costo de la evaluaci\'on humana requerida para sistemas de GLN obteniendo testers en Internet. Con este objetivo en mente, la tarea que los testers tienen que realizar es seguir las instrucciones del sistema de GLN para as\'i alcanzar el objetivo de un juego en un entorno virtual en tres dimensiones. Esta tarea es desafiante para los algoritmos de generaci\'on de expresiones referenciales por dos razones. La primera es que el contexto de referencia cambia constantemente a medida que el jugador se mueve en el mundo virtual y lo modifica. Se investigar\'a la posibilidad de adaptar el algoritmo para considerar un modelo din\'amico. La segunda es que, dado que las instrucciones son ef\'imeras (no quedan registradas en un log) el sistema debe decidir como fragmentar la informaci\'on de las expresiones referenciales de forma tal de que sean m\'as efectivas. Por ejemplo, un sistema que se refiere a un objeto como ``tenemos que presionar un bot\'on azul'' y espera que el jugador enfoque dos posibles referentes en el dominio para luego decir ``el de la izquierda'' probablemente ser\'a m\'as efectivo que un sistema que diga ``tenemos que presionar el bot\'on azul que est\'a atr\'as tuyo a la izquierda'' (dado que al girar, la persona puede haber olvidado si era el de la izquierda o el de la derecha). Se investigar\'a la posibilidad de que el algoritmo no retorne referencias un\'ivocas para cada elemento del contexto sino que retorne referencias parciales y luego refine esas referencias agregando propiedades incrementalmente. 
\end{description}

